CART分类回归树
分类与回归树是二叉树,可以用于分类,也可以用于回归问题。
区别:分类树输出的是样本的类别, 而回归树输出的是一个实数。
对离散型和连续型特征列的选择
一、CART分类树(待预测结果为离散数据):
选择具有最小Gain_GINI的属性及其属性值,作为最优分裂属性以及最优分裂属性值。Gain_GINI值越小,说明二分之后的子样本的“纯净度”越高,即说明选择该属性(值)作为分裂属性(值)的效果越好。
实现过程:
- 对于样本集S,计算GINI如下:
其中,在样本集S中,pk表示分类结果中第k个类别出现的频率; - 对于含有N个样本的样本集S,根据属性A的第i个属性值,将数据集S划分成两部分,则划分成两部分之后,Gain_GINI计算如下:
- 对于属性A,分别计算任意属性值将数据集划分成两部分之后的Gain_GINI,选取其中的最小值,作为属性A得到的最优二分方案;
- 对于样本集S,计算所有属性的最优二分方案,选取其中的